When Privileged Guidance Misaligns: State-Matched Routing and Contextualized Self-Distillation for Multi-Turn Agents
状态匹配路由与上下文自蒸馏解决多轮 Agent 特权指导失配
🧭 Agent 多轮训练中状态感知的蒸馏策略 ★ 深度解读
University of Electronic Science and Technology of China
提出状态匹配路由决定何时使用特权轨迹蒸馏，并构造状态上下文化教师语境，显著提升多轮策略效果
📌 工作参考价值（4 点）
- 多轮 Agent 训练中谨慎使用特权轨迹：在对话推荐、搜索等交互式 Agent 中，若用成功日志作为特权指导，直接对全部轮次施加蒸馏会因状态不匹配而降低有效策略概率。可借鉴状态匹配路由思想，仅在与当前执行进度兼容的轮次上使用特权信号。
- 构建轻量结构化状态签名：不必学习状态匹配模型，用手工设计的确定性规则（如位置、库存、页面类型、已选选项）即可快速判断当前状态是否与参考轨迹的某个前置状态兼容，适合工业落地时的快速迭代。
- 教师上下文中加入状态摘要与候选动作：在蒸馏时，除完整成功路径外，添加当前状态的简要总结和匹配到的候选下一步行动，比单纯给完整路径更能引导教师产生正确偏好。这可以用于电商导购 Agent 的多轮决策优化。
- 路由与上下文解耦设计：控制实验表明，仅路由掉不匹配轮次（减少蒸馏噪声）就能带来主要收益，而加入状态上下文化上下文能进一步小幅提升。工程实现时可先做简单的路由遮挡，再逐步增强上下文。